ประสิทธิ์ พยอมยงค์ เกิดเมื่อวันที่ 7 มีนาคม พ.ศ. 2469 ที่บ้านเลขที่ บ้านเลขที่ 22 ถนนโยธา ตำบลตลาดน้อย อำเภอสัมพันธวงศ์ กรุงเทพมหานคร เป็นบุตรของนายสุธรรม และนางนิล แซ่เตียว มีน้องสาวร่วมบิดามารดาอีกหนึ่งคน สำหรับนามสกุลพยอมยงค์นั้น เป็นนามสกุลที่ได้รับพระราชทานผ่านทางเรือเอกประทีป พยอมยงค์ ผู้เป็นน้องชายนายสุธรรม ครอบครัวนี้จึงใช้นามสกุลนี้ตลอดมา

ประสิทธิ์ พยอมยงค์ ถือกำเนิดมาในครอบครัวคาทอลิก โดยบิดาประกอบอาชีพค้าขาย ส่วนมารดาประกอบอาชีพรับตัดเย็บเสื้อผ้า จึงมีฐานะปานกลาง ประสิทธิ์ พยอมยงค์จึงได้รับการศึกษาในระดับสูง โดยสำเร็จการศึกษาระดับมัธยมศึกษาจากโรงเรียนอัสสัมชัญ และเข้าเรียนในคณะพาณิชยศาสตร์และการบัญชี มหาวิทยาลัยธรรมศาสตร์และการเมือง รุ่นเดียวกับนายธานินทร์ กรัยวิเชียร อดีตนายกรัฐมนตรี และ นายมารุต บุนนาค อดีตประธานสภาผู้แทนราษฎร แต่ไม่จบเนื่องจากมหาวิทยาลัยต้องปิดในระหว่างสงครามโลกครั้งที่ 2 ประสิทธิ์ พยอมยงค์จึงเลิกศึกษา และเริ่มต้นชีวิตนักดนตรีอย่างเต็มตัวตั้งแต่นั้นมา